Devido à sua posição pacifista, no início da Primeira Guerra Mundial, Einstein enfrentou represálias políticas, inicialmente verbais e que passaram posteriormente a actos de vandalismo. Em 12 de Fevereiro de 1920, alegando falta de lugares para acomodar todos os interessados, algumas pessoas provocaram distúrbios durante uma aula de Einstein na Universidade de Berlim. Numa declaração à imprensa Einstein afirmou que existia uma certa hostilidade dirigida contra ele; não era algo explicitamente anti-semita, mas podia ser interpretado como tal (Pais, 1995, p. 375). Depois, em 24 de Agosto do mesmo ano, a recém-formada organização científica Arbetsgemeinschaft deutscher Naturforscher, organizou uma reunião na maior sala de concertos de Berlim com o objectivo de criticar o conteúdo da teoria da relatividade e a alegada propaganda de mau gosto que seu autor fazia em torno dela. Três dias depois Einstein comentou a reunião, dizendo que as reacções poderiam ter sido outras se ele fosse "um cidadão alemão, com ou sem suástica, em vez de um judeu com convicções liberais internacionais" (Pais, 1995, p. 375).
Com a eleição de Hitler para o cargo de Chanceler, em Janeiro de 1933, a perseguição a Einstein ameaçava atingir níveis insuportáveis. Em visita a algumas instituições americanas (Esteve no Caltech de Dezembro de 1932 até Março de 1933. Depois visitou, brevemente, a Universidade de Nova York e a Universidade de Chicago), Einstein deveria voltar para a Alemanha, mas foi desaconselhado por Paul Schwartz, cônsul alemão: "Se você for para a Alemanha, Albert, vão arrastá-lo pelas ruas pelos cabelos" (Brian, p.271). Referindo-se a um discurso que Einstein fez aos pacifistas americanos, um editor de jornal em Berlim escreveu: " (...) esse enfatuado monte de vaidades ousou emitir um julgamento contra a Alemanha sem saber o que acontece por aqui - coisas que serão eternamente incompreensíveis para um homem que, para nós, nunca foi alemão, e que se diz judeu e nada mais que judeu" (Brian, p.272). Logo em seguida tropas de choque revistaram o apartamento de Einstein em Berlim, mas saíram de mãos vazias. Margot havia transferido, clandestinamente, todos os papéis importantes para a Embaixada da França em Berlim. Tropas de choque (as S.A.) revistaram a casa de campo de Einstein, em Caputh (pequena aldeia perto de Berlim) em busca de armas e munição, pois tinham informações de que ele dera permissão para militantes comunistas estucarem equipamento militar em sua propriedade. Nada foi encontrado, além de uma faca de pão! (Brian, p. 272). Tais acontecimentos haviam sido previstos por Einstein. De acordo com Abraham Pais (Pais, 1995, p.377), ao fechar a casa em Caputh ele teria dito a Elsa: "Dreh dich um. Du siehst's nie wieder" ("Olha em volta. Não voltarás a vê-la").